Nghĩa quân vào thành, quan dân đều đóng cửa không cung ứng. Binh sĩ Xích Mi liên tục cướp bóc dân chúng, tranh giành lương thực, đến nỗi gây ra cuộc bạo loạn ngay trong bữa tiệc của Kiến Thế đế, khiến vị hoàng đế bù nhìn kinh hãi muốn trả lại tỷ thụ, Phàn Sùng và các tướng hứa hẹn sẽ kiềm chế, nhưng rồi lại đâu vào đấy. Trong thành hết lương, nghĩa quân thu hết của cải, thiêu rụi cung thất, đưa Kiến Thế đế tây tiến. Họ từ Nam Sơn vừa đi vừa cướp bóc các thành ấp, giao chiến với tướng cũ của Canh Thủy đế là Nghiêm Xuân ở huyện Mi[19], đánh bại và giết Xuân; rồi vào các quận An Định, Bắc Địa. Đến khoảng giữa Dương Thành, Phiên Tu, gặp tuyết lớn, lấp đầy hang khe, rất nhiều binh sĩ chết rét6. Phàn Sùng buộc phải quay về Trường An, trên đường khai quật lăng mộ các hoàng đế nhà Hán, lăng nhục thây Lữ hậu, chiếm lấy của cải. Nghĩa quân Xích Mi bị quân Hán do Đại tư đồ Đặng Vũ điều đến tấn công ở Úc Di[20]. Quân Xích Mi đánh bại được Đặng Vũ. Tháng 9 ÂL năm Kiến Vũ thứ 2 (26), nghĩa quân Xích Mi về đến Trường An, dừng lại ở Quế Cung (góc phía bắc Trường An).

Khi ấy Bàng An bị lực lượng quân phiệt ở Quan Trung là Duyên Sầm đánh bại ở Đỗ Lăng[21], lại thêm Tam Phụ (Kinh Triệu Doãn, Tả Phùng Dực, Hữu Phù Phong) có nạn đói, người ăn thịt lẫn nhau, thành quách trống rỗng, khắp nơi đầy xương trắng; những ai sống sót tụ họp lại cố thủ trong các thôn trang, nghĩa quân Xích Mi không cướp được gì. Tháng 12 ÂL, Phàn Sùng đưa hơn 10 vạn nghĩa quân đói lả quay về miền đông.

Quang Vũ đế sai bọn Phá gian tướng quân Hầu Tiến đóng đồn Tân An[22], bọn Kiến uy đại tướng quân Cảnh Yểm đóng đồn Nghi Dương[23], chẹn đường đông hạ của nghĩa quân. Tháng giêng ÂL năm thứ 3, Phàn Sùng đánh bại quân Hán của Đặng Vũ ở Vu Hồ[24], rồi đi về phía nam. Tháng giêng nhuận, nghĩa quân bị Chinh tây đại tướng quân Phùng Dị đánh bại ở Hào Để[25]. Quang Vũ đế nghe tin, bèn tự làm tướng, đưa thêm quân đến Nghi Dương, chẹn đường lui của nghĩa quân.

Bọn Sùng nghe tin Quang Vũ đế đã đến thì kinh sợ, bèn sai anh của Kiến Thế đế là Thức hầu Lưu Cung gặp đế xin hàng. Quang Vũ đế hứa tha chết, Phàn Sùng bèn đưa Kiến Thế đế cùng thừa tướng Từ Tuyên hơn 30 người cởi trần đến hàng, giao nộp hơn 10 vạn quân. Quang Vũ đế đưa Phàn Sùng cùng các tướng và vợ con về Lạc Dương, ban cho mỗi người một khu nhà cửa, 2 khoảnh ruộng.

Mùa hạ cùng năm, Phàn Sùng cùng Bàng An mưu tái khởi binh, bại lộ nên bị giết.